Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses
时间线证词：时序临床假设的循证显著性检验
🧭 LLM 评估 · 时序假设检验
Stevens Institute of Technology
提出STRATA基准与ART分阶段范式，暴露并显著缩小LLM在时序临床假设检验中的证据-结论差距
📌 工作参考价值（4 点）
- 在电商/广告Agent做实验分析、归因或用户行为假设验证时，强制模型显式输出“分析计划 / 证据集 / 统计检验”三段，而不是只给结论；这样能定位“证据选错但结论碰巧对”的隐性失败。
- 把业务中的指标定义、统计口径、实验设计规则写成结构化的codebook注入prompt或知识库；论文显示frontier models在拿到codebook后成功率明显提升，说明确定性规则能大幅增强LLM做数据分析的可信度。
- 分层评估Agent：除最终指标外，还要评估中间检索/筛选的证据集和检验选择；否则准确率会掩盖证据-结论差距，类似只评估推荐点击率而忽视归因与排序过程错误。
- 优先优化记录筛选与过滤逻辑，而非盲目加大模型规模；实验表明主要瓶颈是“哪些记录算数”而不是统计方法选择，对应RAG或Agent中检索质量比生成模型规模更影响最终可靠性。